The Role of Feedback Alignment in Self-Distillation
反馈对齐在自我蒸馏中的作用
🧭 LLM自我蒸馏的反馈设计
Gensyn
逐步对齐求解器推理的反馈在自我蒸馏中效果最佳，能精确修正错误并保留正确步骤。
📌 工作参考价值（4 点）
- 在训练多步推理智能体（如对话推荐）时，可生成与模型自身推理轨迹对齐的逐步评语作为自我蒸馏信号，只修正错误步骤，避免正确部分被扰动，相比整体奖励或参考解方式提升更显著。
- 将细粒度反馈（如每步批评）融入强化学习或蒸馏流程，适用于电商客服、商品推荐解释等需要长推理链的场景；可利用用户反馈或规则自动生成 step-aligned critique。
- 该方法揭示了反馈“结构对齐”的重要性：设计奖励或蒸馏目标时，应尽量与策略自身行为对齐，防止过度纠正。可迁移至 GRPO 等 RL 训练中的优势函数塑形。
- 在生成式推荐中，若要模型在无辅助信息时仍产出高质量推理，可采用自我蒸馏框架，但注意用逐步对齐的批评替代简单答案奖励，以提升推理稳定性。